Sinh ra trong một gia đình Do Thái quan sát ở vùng the Bronx, thành phố New York, Cohn là con duy nhất của Dora (nhũ danh Marcus; 1892–1967) và Thẩm phán Albert C. Cohn (1885–1959), người có ảnh hưởng trong chính trị của Đảng Dân chủ.[8][9][10] Ông chú cố của ông là Joshua Lionel Cowen, người sáng lập và chủ sở hữu lâu năm của Lionel Corporation, một nhà sản xuất xe lửa đồ chơi.[1] Cohn sống ở nhà của cha mẹ mình cho đến khi mẹ ông qua đời, sau đó ông sống ở New York, Quận Columbia và Greenwich, Connecticut.

Sau khi học trường Horace Mann[11] và trường Fieldston,[7][12] và hoàn thành việc học tại Đại học Columbia năm 1946, Cohn tốt nghiệp Trường Luật Columbia khi mới 20 tuổi.[13]